Aprendizaje reforzado para agarre y manipulación de robots

Una de las maneras de tratar los ambientes no controlados en robótica es mediante el aprendizaje automático, que permite aprender y adaptarse a cada circunstancia. Dentro del aprendizaje automático, el aprendizaje por refuerzo se basa en el aprendizaje por interacción, un agente actúa sobre el entorno y recibe una señal de recompensa que indica lo buenas o malas que son sus acciones. Aplicando el aprendizaje por refuerzo a las tareas robóticas en ambientes no controlados podemos superar las limitaciones y poder resolverlas.En este TFM se ha diseñado, implementado y analizado una biblioteca de tareas robóticas en un simulador 3D como banco de pruebas para algoritmos de aprendizaje por refuerzo. Las tareas se han resuelto mediante el método de búsqueda de política, que consiste en parametrizar directamente el comportamiento del agente, en este caso las trayectorias. Para ello, el problema se plantea como uno de optimización, en el que la función a optimizar es la recompensa y los parámetros son los de la política. Así mismo, también se ha desarrollado una interfaz entre el simulador y los optimizadores.Para resolver el problema de optimización es necesario un método de optimización global y que pueda funcionar con funciones cuya forma no se conoce. En este trabajo se ha implementado la optimización bayesiana, que consiste en crear un modelo de la función objetivo a partir de los datos obtenidos de la experiencia y de las suposiciones sobre las funciones objetivo que pueden ser válidas.<br /

Evaluación de algoritmos de aprendizaje por refuerzo profundo con un motor físico

Uno de los grandes retos actuales de la robótica es poder explorar y navegar por entornos totalmente desconocidos y en muchas ocasiones extremos. Para ello es de vital importancia que los robots sean capaces de aprender, adaptarse y recuperarse de los errores de la manera más rápida y eficiente posible.El aprendizaje por refuerzo es una rama del aprendizaje automático que se encarga de que las máquinas aprendan a desenvolverse a base de premios y castigos, en entornos no controlados de los cuales no tenemos información inicial.El principal objetivo de este TFG es estudiar y analizar un conjunto de algoritmos Actor-Critic implementados en Stable Baselines 3 mediante el motor físico de Pybullet.La utilización de algoritmos complejos que emplean aprendizaje del doble valor Q, la actualización de la política con retraso, el suavizado de la política objetivo y la regularización de entropía nos ha permitido obtener un mejor entrenamiento y comportamiento del agente.Se ha evaluado el entorno CartPole de OpenAI Gym durante 100.000 timesteps, el CartPole de Pybullet durante 40.000 timesteps, el HalfCheetah, Hopper y el Ant de Pybullet durante 200.000 timesteps y por último otra vez el Ant para 668.000 timesteps. Para que los resultados fueran robustos y fiables se realizaron cuatros entrenamientos en el CartPole y tres en el Halfcheetah, en el Hopper y en el Ant respectivamente.<br /

Egocentric Computer Vision and Machine Learning for Simulated Prosthetic Vision

Las prótesis visuales actuales son capaces de proporcionar percepción visual a personas con cierta ceguera. Sin pasar por la parte dañada del camino visual, la estimulación eléctrica en la retina o en el sistema nervioso provoca percepciones puntuales conocidas como “fosfenos”. Debido a limitaciones fisiológicas y tecnológicas, la información que reciben los pacientes tiene una resolución muy baja y un campo de visión y rango dinámico reducido afectando seriamente la capacidad de la persona para reconocer y navegar en entornos desconocidos. En este contexto, la inclusión de nuevas técnicas de visión por computador es un tema clave activo y abierto. En esta tesis nos centramos especialmente en el problema de desarrollar técnicas para potenciar la información visual que recibe el paciente implantado y proponemos diferentes sistemas de visión protésica simulada para la experimentación.Primero, hemos combinado la salida de dos redes neuronales convolucionales para detectar bordes informativos estructurales y siluetas de objetos. Demostramos cómo se pueden reconocer rápidamente diferentes escenas y objetos incluso en las condiciones restringidas de la visión protésica. Nuestro método es muy adecuado para la comprensión de escenas de interiores comparado con los métodos tradicionales de procesamiento de imágenes utilizados en prótesis visuales.Segundo, presentamos un nuevo sistema de realidad virtual para entornos de visión protésica simulada más realistas usando escenas panorámicas, lo que nos permite estudiar sistemáticamente el rendimiento de la búsqueda y reconocimiento de objetos. Las escenas panorámicas permiten que los sujetos se sientan inmersos en la escena al percibir la escena completa (360 grados).En la tercera contribución demostramos cómo un sistema de navegación de realidad aumentada para visión protésica ayuda al rendimiento de la navegación al reducir el tiempo y la distancia para alcanzar los objetivos, incluso reduciendo significativamente el número de colisiones de obstáculos. Mediante el uso de un algoritmo de planificación de ruta, el sistema encamina al sujeto a través de una ruta más corta y sin obstáculos. Este trabajo está actualmente bajo revisión.En la cuarta contribución, evaluamos la agudeza visual midiendo la influencia del campo de visión con respecto a la resolución espacial en prótesis visuales a través de una pantalla montada en la cabeza. Para ello, usamos la visión protésica simulada en un entorno de realidad virtual para simular la experiencia de la vida real al usar una prótesis de retina. Este trabajo está actualmente bajo revisión.Finalmente, proponemos un modelo de Spiking Neural Network (SNN) que se basa en mecanismos biológicamente plausibles y utiliza un esquema de aprendizaje no supervisado para obtener mejores algoritmos computacionales y mejorar el rendimiento de las prótesis visuales actuales. El modelo SNN propuesto puede hacer uso de la señal de muestreo descendente de la unidad de procesamiento de información de las prótesis retinianas sin pasar por el análisis de imágenes retinianas, proporcionando información útil a los ciegos. Esté trabajo está actualmente en preparación.<br /

On the Uncertain Single-View Depths in Colonoscopies

Estimating depth information from endoscopic images is a prerequisite for a wide set of AI-assisted technologies, such as accurate localization and measurement of tumors, or identification of non-inspected areas. As the domain specificity of colonoscopies -- deformable low-texture environments with fluids, poor lighting conditions and abrupt sensor motions -- pose challenges to multi-view 3D reconstructions, single-view depth learning stands out as a promising line of research. Depth learning can be extended in a Bayesian setting, which enables continual learning, improves decision making and can be used to compute confidence intervals or quantify uncertainty for in-body measurements. In this paper, we explore for the first time Bayesian deep networks for single-view depth estimation in colonoscopies. Our specific contribution is two-fold: 1) an exhaustive analysis of scalable Bayesian networks for depth learning in different datasets, highlighting challenges and conclusions regarding synthetic-to-real domain changes and supervised vs. self-supervised methods; and 2) a novel teacher-student approach to deep depth learning that takes into account the teacher uncertainty.Comment: 11 page

Control de robots mediante algoritmos de aprendizaje por refuerzo profundo

Resumen: El objetivo de este proyecto consiste en investigar el estado del arte en técnicas de aprendizaje por refuerzo profundo con el objetivo de controlar un brazo robótico virtual de 7 juntas modelado con un sistema real. A partir del estudio de los postulados del aprendizaje por refuerzo o Reinforcement Learning, se abordan los algoritmos más recientes, como Soft Actor Critic, Proximal Policy Optimizationo, Twin Delayed DDPG, entre otros, que aproximan las funciones Bellman que determinan la política del robot mediante el uso de redes neuronales y técnicas de aprendizaje automático profundo o Deep Machine Learning. Se establece una aproximación práctica de estos algoritmos en su versión aplicable a entornos continuos, que constituyen las entradas y salidas del brazo robótico, encargado de aprender a alcanzar una posición determinada sin ningún tipo de supervisión humana. Paso a paso, se escoge el algoritmo que mejor resuelve este tipo de problemas, antes de abordar los parámetros óptimos y el tamaño de sendas redes neuronal para el actor y el crítico que mejor se adaptan a este tipo de problemas. Abstract: The aim of this project is to explore the state of the art in Deep Reinforcement Learning Techniques in order control a realistic 7-joints robotic arm. Following the study of classic Reinforcement Learning (from now on, RL) techniques, and due the complexity of the environment, we junp to cutting-edge algorithms Soft Actor Critic, Proximal Policy Optimization or Twin Delayed DDPG, among others, using techniques from Deep Machine Learning to solve Bellman functions and implement their policy. There is a practical approach in order to apply those algorithms to a continous-state environment of actions and observations where a virtualised robot has to learn how to reach a target position with no supervision at all. Step by step, best algorithm is selected and tested in order to find optimal dimensions of both actor and critic Neural Networks.<br /

Sistema de asistencia a la navegación humana basado en la cámara de eventos

El objetivo principal de este trabajo es el desarrollo y evaluación de un sistema de asistencia a la navegación de personas basado en la innovación de la cámara de eventos. Esta novedosa tecnología tiene potencial suficiente para revolucionar el actual paradigma de los sensores de visión, gracias a su gran rapidez y sensibilidad al movimiento, abriendo el camino hacia las aplicaciones de detección de colisiones.Con la realización del trabajo, se ha abordado el análisis de la información que proporciona la cámara de eventos, el diseño y simulación del sistema de asistencia a la navegación humana, la adaptación del procesamiento de imágenes a la cámara de eventos y su evaluación como sensor de visión de los sistemas de asistencia a la navegación humana.Para conseguir los objetivos propuesto en este trabajo se ha realizado el estudio teórico de la cámara de eventos, el desarrollo del propio sistema de asistencia a la navegación y su validación ante escenarios y movimientos realistas mediante el simulador ESIM de la cámara de eventos y el motor gráfico Unreal Engine.En este trabajo se ha conseguido desarrollar, simular y validar el sistema de asistencia a la navegación humana basado en la cámara de eventos, además de progresar en el conocimiento e implementación de la cámara de eventos como sensor de visión.<br /

Deep learning para segmentación celular de imagen

El estudio de la migración celular in vitro es fundamental para entender muchos procesos biológicos importantes, para ello, es necesario conocer e identificar la posición de cada célula en cientos de imágenes de microscopía. Por lo que la realización del trabajo se ha centrado en aplicar técnicas de deep learning a un conjunto de imágenes celulares con el objetivo de realizar la segmentación de forma automática. La utilización de las redes convolucionales mediante una arquitectura conocida como U-net, han permitido una notoria mejoría en el campo de la segmentación.Mediante la utilización de esta arquitectura de red convolucional para un dataset cedido por el Grupo M2BE de la Universidad de Zaragoza, se ha entrenado la red para obtener un modelo que desempeñe de forma óptima la segmentación automática.Una vez realizados los entrenamientos con las imágenes y máscaras se han podido obtener resultados satisfactorios, el modelo entrenado realiza la segmentación de imágenes que era el objetivo central del trabajo. El desempeño del modelo entrenado a través de la red ha sido evaluado a través de una métrica que permita conocer cómo se está realizando la segmentación. Aunque los resultados iniciales con los primeros entrenamientos son óptimos, se ha buscado la mejoría a través de entrenamientos con parámetros modificados. La tasa de aprendizaje de la red, así como las veces que la red procesa todas las imágenes y máscaras (epochs), han sido ajustadas, con el objetivo de obtener el mejor aprendizaje del modelo.Un hándicap de trabajar con imágenes de la tipología utilizada es que no se dispone de gran cantidad de estas. Por lo que en el trabajo inicialmente se han alterado las características espaciales de las mismas para ampliar el dataset del entrenamiento, para posteriormente aplicar data augmentation totalmente implementado en el código de la red, lo que permite incorporar la variación de las características de las imágenes de forma aleatoria. Estos cambios han repercutido en obtener los mejores resultados de todo el trabajo.Para verificar la generalización del modelo entrenado, se ha realizado la segmentación de imágenes desconocidas para el modelo entrenado, obteniéndose buenos resultados en la detección de bordes y contornos. Posteriormente se ha verificado que entrenar a la red con este nuevo conjunto de datos también permite obtener buenos resultados en la segmentación de ese tipo de imágenes. Aunque el desempeño del modelo es bueno, no se consigue una segmentación perfecta, pero es cierto que mejora con creces la segmentación manual. El campo del deep learning se encuentra en continua innovación, y hay técnicas que se podrían incorporar a la metodología del trabajo de forma adicional. Los resultados obtenidos son los que a priori se habían marcado como objetivo, pero hay que tener en cuenta la capacidad de mejora en el desempeño del modelo con las técnicas actuales, y las que podrían llegar en un futuro cercano.<br /

Aprendizaje automático para conducción autónoma

Actualmente, se está produciendo un fuerte desarrollo de los vehículos autónomos, ya que pueden ayudar en diversos aspectos tanto cotidianos como medioambientales. La conducción autónoma se sustenta en diferentes disciplinas, entre las que se encuentra el aprendizaje automático. Concretamente el aprendizaje profundo o deep learning, está logrando los avances más importantes en este ámbito hoy en día. Por ello, este proyecto se centra en el estudio de algunos de los métodos más utilizados en el estado del arte y en la implementación de un sistema de aprendizaje automático para esta aplicación, tras analizar los modelos obtenidos con distintos algoritmos y variaciones de entre los estudiados.El objetivo de este trabajo es la implementación de un sistema de deep learning para aprender el control de velocidad y dirección de un vehículo autónomo, utilizando un simulador de conducción autónoma. El uso de un simulador realista como el utilizado y la conexión con él durante el entrenamiento, es parte importante cuando se utilizan algoritmos de aprendizaje por refuerzo como los implementados en este trabajo por su característica de aprender de la experiencia, mediante prueba y error, convirtiéndose en esencial en una aplicación como la estudiada, ya que hacer esto en el mundo real sería inviable (costoso e inseguro). Por ello, aunque la puesta en marcha no sea sencilla, es fundamental lograr conectar estos algoritmos con los escenarios realistas del entorno de simulación. Dicho simulador, también se utilizaré como plataforma para evaluar en distintos escenarios los modelos obtenidos de manera segura. La idea es implementar varias versiones del sistema, con diferentes algoritmos y modificaciones de ellos, y evaluar los resultados obtenidos con cada una de estas versiones comparando su rendimiento y generalización en distintos entornos.En este proyecto, primero se aborda el estudio de las diferentes técnicas utilizadas en conducción autónoma y del software necesario para el desarrollo del sistema, así como la elección del simulador a utilizar, su instalación y aprendizaje de su manejo. En este trabajo se ha decidido utilizar el simulador realista de conducción autónoma Airsim, y entornos estándar de deep learning como Keras y TensorFlow. Otra parte importante después del estudio ha sido la puesta en marcha y el desarrollo de las distintas versiones y variaciones propuestas, que proporcionan los diversos modelos a evaluar, con los que se implementa el sistema final.Como resultado de este trabajo, se ha desarrollado un sistema de conducción autónoma que consta de dos partes, aunando así dos técnicas de aprendizaje automático distintas, siguiendo las propuestas de la literatura existente. Por un lado, el aprendizaje por refuerzo, parte principal del sistema implementado, y por otro lado, el aprendizaje supervisado, ya que se utiliza una red neuronal convolucional (CNN) para obtener un modelo preentrenado que proporcionar a los algoritmos de reinforcement learning como base para no partir desde cero en su entrenamiento.Los algoritmos, resultados y entorno de simulación y evaluación de este proyecto son interesantes dentro del grupo de investigación en el que se ha realizado, ya que hay pocas soluciones completas que incluyan la interacción con el simulador realista que se utiliza en este proyecto. Los resultados obtenidos son comparables o de mejor calidad que los ejemplos encontrados disponibles públicamente, por lo cual este trabajo es un gran punto de partida para líneas de investigación que continúan en este sentido.<br /

Proyecto de un aula basada en Windows Server 2012

Diseño y configuración de un aula de aprendizaje Windows Server 2012 aprovechando la característica de virtualización. Un servidor principal alberga los servidores virtualizados de los alumnos, las licencias de los cuales van incluidas en la edición Windows Server 2012 R2 Datacenter. De este modo, solo es necesario pagar una licencia de Windows Server 2012. Cada alumno dispone de un cliente liviano para ejecutar remotamente su servidor virtual

Creación de un entorno visual de visión protésica

Búsqueda y análisis de alternativas y desarrollo de una solución para la configuración de unas Gafas de VR para simular, de forma portable e inmersiva, el funcionamiento de la Visión Protésica mediante un implante retinal.<br /